Ngày 29.11.1945 Kerr kết hôn với Anthony Bartley, sĩ quan chỉ huy một phi đội trong Không quân Hoàng gia Anh. Họ có hai người con gái: Melanie Jane (sinh ngày 27.12.1947) và Francesca Ann (sinh ngày 20.12.1951). Cuộc hôn nhân này không hạnh phúc do Bartley ghen tỵ với danh tiếng và sự thành công về tài chính của vợ[10] và do việc vắng nhà thường xuyên vì nghề nghiệp của Kerr. Họ ly dị năm 1959.

Ngày 23.7.1960 Kerr tái hôn với nhà văn Peter Viertel, trở thành mẹ ghẻ của Christine Viertel. Mặc dù cư ngụ lâu ở Klosters (Thụy Sĩ) và Marbella (Tây Ban Nha), bà đã trở về Anh để được gần gũi với các con, khi sức khỏe bắt đầu bị suy yếu. Tuy nhiên ông chồng vẫn tiếp tục sống ở Marbella.